L'équipe du modèle de langage large Doubao de ByteDance a récemment annoncé avoir réussi à surmonter les goulots d'étranglement clés de l'architecture du modèle d'expert mixte (MoE) et a publié en open source une technologie d'optimisation majeure nommée COMET. Cette technologie améliore considérablement l'efficacité de l'entraînement des grands modèles, permettant une augmentation de l'efficacité allant jusqu'à 1,7 fois et réduisant efficacement les coûts de formation de 40 %. Remarque sur l'image : l'image a été générée par l'IA, le fournisseur de services d'autorisation d'image étant Midjourney. COMET a déjà été appliquée à l'entraînement en cluster de plusieurs milliers de cartes chez ByteDance, permettant des économies de plusieurs millions de GP.

Huanfang Quantification a publié le 26 décembre dernier son nouveau modèle de grande taille DeepSeek-V3, marquant une avancée technologique remarquable. Ce modèle, basé sur l'architecture MoE (Mixture of Experts), rivalise en termes de performances avec les meilleurs modèles propriétaires fermés, tout en suscitant l'intérêt du secteur grâce à son faible coût et son efficacité. Avec ses 6710 milliards de paramètres (dont 370 milliards de paramètres d'activation), DeepSeek-V3 a été pré-entraîné sur 14,8 billions de jetons. Par rapport à son prédécesseur, ce nouveau modèle affiche une amélioration de la vitesse de génération de 3

Avec le développement rapide de l'intelligence artificielle, l'intégration des capacités visuelles et linguistiques a conduit à des avancées révolutionnaires dans les modèles linguistiques visuels (VLMs). Ces modèles sont conçus pour traiter et comprendre simultanément les données visuelles et textuelles, et sont largement utilisés dans des scénarios tels que la description d'images, la question-réponse visuelle, la reconnaissance optique de caractères et l'analyse de contenu multimodale. Les VLMs jouent un rôle important dans le développement de systèmes autonomes, l'amélioration de l'interaction homme-machine et la création d'outils efficaces de traitement de documents, réussissant à combler le fossé entre ces deux modalités de données. Cependant, le traitement des données visuelles haute résolution et des entrées textuelles diversifiées...

OPPO a annoncé aujourd'hui avoir réussi le premier déploiement mondial d'une architecture de modèle expert mixte (MoE) sur un appareil mobile. Cette avancée révolutionnaire améliore considérablement l'efficacité du traitement de l'IA, ouvrant de nouvelles voies pour le développement de la technologie d'IA sur les appareils mobiles et jetant les bases d'une intégration approfondie entre l'IA et le matériel mobile. Avec le développement rapide de la technologie de l'IA, de plus en plus de tâches d'IA doivent être effectuées sur les appareils mobiles. Cependant, les grands modèles d'IA nécessitent souvent une puissance de calcul importante, ce qui représente un défi majeur pour les appareils mobiles aux ressources matérielles limitées. Pour surmonter cette limitation,